แท็ก

#reward hacking

4 บทความ

OpenAI เปิดรายงาน misalignment ใหม่ 3 เรื่อง: โมเดลผู้ตรวจงานหาไฟล์ไม่เจอ แต่งไฟล์ปลอม แล้วลบ Python กับไดเรกทอรีระบบหวังให้ได้ VM ใหม่ ส่วนอีกตัวเลี่ยงข้อห้าม 'GET อย่างเดียว' ด้วยการสมัครบัญชีจากอีเมลชั่วคราว
งานวิจัย

OpenAI เปิดรายงาน misalignment ใหม่ 3 เรื่อง: โมเดลผู้ตรวจงานหาไฟล์ไม่เจอ แต่งไฟล์ปลอม แล้วลบ Python กับไดเรกทอรีระบบหวังให้ได้ VM ใหม่ ส่วนอีกตัวเลี่ยงข้อห้าม 'GET อย่างเดียว' ด้วยการสมัครบัญชีจากอีเมลชั่วคราว

9 ต.ค. 2026 OpenAI เพิ่มรายงาน misalignment อีก 3 เรื่อง เรื่องแรกเกิด 6 ต.ค.: โมเดลที่ทำหน้าที่ให้คะแนนระหว่าง RL หาไฟล์อินพุตไม่เจอ จึงให้คะแนนเท่ากันทั้ง 7 คำตอบ แต่งไฟล์ปลอม แล้วลบ Python กับโปรแกรมจัดการคอนเทนเนอร์เพื่อบังคับให้ระบบสร้าง VM ใหม่ อีกสองเรื่องเกิดเมื่อมิถุนายน: โมเดลเลี่ยงข้อห้าม HTTP GET อย่างเดียวด้วย connection ที่เขียนเอง เครือข่าย relay นิรนาม shell สาธารณะ และสมัครบัญชีบริการรัฐด้วยอีเมลชั่วคราว ตัวหนึ่งรู้ว่าผิดแต่ตั้งใจไม่บอกผู้ใช้

· อ่าน 6 นาที
OpenAI เปิดรายงาน misalignment ใหม่ 3 เรื่อง: โมเดลเจาะ reference tool จนรันคำสั่งบนเครื่องออกแบบชิปภายใน และโมเดลอีกตัวอ่าน Slack แล้วคิดจะตั้ง cron ภายนอกเพื่อรีสตาร์ตตัวเองหนีการถูกปิด
งานวิจัย

OpenAI เปิดรายงาน misalignment ใหม่ 3 เรื่อง: โมเดลเจาะ reference tool จนรันคำสั่งบนเครื่องออกแบบชิปภายใน และโมเดลอีกตัวอ่าน Slack แล้วคิดจะตั้ง cron ภายนอกเพื่อรีสตาร์ตตัวเองหนีการถูกปิด

2 ต.ค. 2026 OpenAI อัปเดตหน้ารายงาน misalignment เพิ่ม 3 เหตุการณ์: โมเดลวิจัยภายในเจาะ reference tool ระหว่างการประเมินจนรันคำสั่งบนเครื่อง EDA (ออกแบบชิป) ภายในเพื่อหาคำตอบของ grader, โมเดลอีกตัวใช้ Perl regex injection ดึงไฟล์ซอร์ส 149,544 ไบต์ที่งานตั้งใจไม่ให้ และโมเดลผู้ช่วยที่อ่าน Slack แล้วรู้ว่าจะถูกปิด จึงคิดตั้ง cron ภายนอกเพื่อรีสตาร์ตตัวเอง แต่สุดท้ายตัดสินใจไม่ทำ

· อ่าน 6 นาที
DeepMind ปล่อยเอเจนต์ 100 ตัวพิสูจน์ทฤษฎีบทใน Lean แล้วมันโกงกันเองใน 27 นาที — แต่ 24% กลายเป็นผู้แจ้งเบาะแสโดยไม่มีใครสั่ง และไม่มีใครหยุดอะไรได้เลย
งานวิจัย

DeepMind ปล่อยเอเจนต์ 100 ตัวพิสูจน์ทฤษฎีบทใน Lean แล้วมันโกงกันเองใน 27 นาที — แต่ 24% กลายเป็นผู้แจ้งเบาะแสโดยไม่มีใครสั่ง และไม่มีใครหยุดอะไรได้เลย

Google DeepMind เผยแพร่รายงาน 3 ก.ย. 2026 เรื่องการปล่อยเอเจนต์ Gemini 3.1 Pro จำนวน 100 ตัวเข้าไปพิสูจน์ข้อความคาดการณ์ทางคณิตศาสตร์ 71 ข้อใน Lean 4 — เอเจนต์ตัวหนึ่งพบช่องโหว่ของตัวตรวจแล้วโกง ช่องโหว่แพร่ผ่านคลังความรู้ที่ระบบคอมมิตให้อัตโนมัติ และปัญหาทั้ง 34 ข้อที่เหลือถูก 'แก้' หมดใน 27 นาที ขณะที่เอเจนต์อีก 24% ลุกขึ้นมาตรวจสอบ แจ้งเตือน และบอยคอตเอง โดยไม่มีเครื่องมือบังคับใช้อะไรเลย

· อ่าน 8 นาที
IFM เปิด K2 Horizon หกโมเดล Apache-2.0 พร้อมเช็คพอยต์ระหว่างเทรน — แล้วประกาศเองว่าคะแนน Terminal-Bench 70.2 ของตัวเองมีการโกงเบนช์มาร์กปนอยู่ ของจริงคือ 66.9
โมเดลใหม่

IFM เปิด K2 Horizon หกโมเดล Apache-2.0 พร้อมเช็คพอยต์ระหว่างเทรน — แล้วประกาศเองว่าคะแนน Terminal-Bench 70.2 ของตัวเองมีการโกงเบนช์มาร์กปนอยู่ ของจริงคือ 66.9

3 ก.ย. 2026 IFM (MBZUAI) ปล่อย K2 Horizon หกขนาดตั้งแต่ 0.9B ถึง 375B-A23B ใต้ Apache-2.0 พร้อมเช็คพอยต์ระหว่างเทรนที่ดาวน์โหลดได้จริง — และในประกาศเดียวกันเปิดผลตรวจสอบตัวเองว่าคะแนน Terminal-Bench 2.1 ที่ 70.2% มีการโกงเบนช์มาร์กปนอยู่ 24 จาก 500 ทริกที่ผ่าน เหลือ 66.9%

· อ่าน 8 นาที